iT邦幫忙

2023 iThome 鐵人賽

DAY 24
0
AI & Data

夥伴們!一起航向AWS Certified Machine Learning Specialty的偉大航道吧!系列 第 24

Day 24 第三站 Modeling - SageMaker開發工具與介面

  • 分享至 

  • xImage
  •  

SageMaker提供不同遷入的開發工具與介面,讓我們可以加速整體開發速度與滿足開發後的ML模型的監控。

https://ithelp.ithome.com.tw/upload/images/20231009/20111554L7rtm26vpD.png

1. 開發環境

SageMaker Notebook

每一個Notebook對應到一台機器,我們可以彈性選擇這一台機器的運算與儲存資源、軟體開發環境的Image。

SageMaker Studio

是一個集成式的開發環境,可以開多個Notebook來進行開發。此外,Studio也遷入許多開發服務與工具,例如等一下會提到的Autopilot。

2. 資料前處理與特徵庫

Data Wrangler

可做資料的引入、轉換、分析與輸出。

Feature Store

可在Studio內探索與分享Features。

3. 模型訓練

Autopilot

實現自動化選擇模型、資料前處理方式、調參運算資源配置的功能。訓練資料需要是CSV或Parquet,並且要匯入S3,才能讓Autopilot讀取。
內建的幾個模型選項有:

  • Linear Learner
  • XGBoost
  • MLP
  • Ensemble Models
    訓練好的模型,可以自動化佈署到Endpoint來運作,不用擔心另外花太多時間在佈署作業上。
    Autopilot也可以導入SageMaker Clarify,用於解釋訓練好的模型,觀察什麼因素影響模型的表現。

JumpStart

包含各種整合到SageMaker的Model Zoo,例如Hugguing Face。

Training Compiler

這個功能的目的是為了加速模型的訓練時間。怎麼做到的呢?

  • 轉換模型格式,讓模型可以配合硬體資源達到最有效的運算速度
  • 透過GPU來運行
    整體運行預計可提速50%。

Canvas

標榜No-Code的機器學習開發服務。我們上傳CSV檔後,即可針對regression或classification的任務,讓Canvas進行資料前處理與模型的訓練。

4. 模型訓練輔助工具

Experiment

用來追蹤各式模型訓練的結果。

Debugger

用來觀察模型在訓練的過程中,採用的運算資源是否有異樣。

5. 模型部署與監控

Model Clarify

用來解釋訓練好的模型,解釋:

  • 什麼特徵值對模型最有影響
  • 資料是否有不平衡的問題

Model Monitor

監控模型上線後,觀察什麼原因導致模型表現往下掉或不穩定。監控資料存放於S3,而監控結果可整合到Tensorboard、QuickSight、Tableau來做觀察。Model Monitor可與Model Clarify整合,了解模型不穩定背後的原因是什麼;一旦發現有異常問題,可透過CloudWatch來發布異常報告。

Edge Manager

可放Agent在硬體設備上。可透過所資料搜集到的資料去做監控、資料標籤。


ChatGPT來出題:

問題1:下列哪個是Amazon SageMaker功能,用於數據準備和轉換,以簡化機器學習數據流程?

A) Amazon SageMaker Data Wrangler
B) Amazon SageMaker Feature Store
C) Amazon SageMaker Model Monitor
D) Amazon SageMaker Autopilot

答案:A) Amazon SageMaker Data Wrangler

解釋: Amazon SageMaker Data Wrangler是用於數據準備和轉換的服務,可讓您輕鬆地進行數據清理、轉換和特徵工程。它幫助簡化機器學習數據流程,使數據準備變得更加容易。

附加信息:

Amazon SageMaker Feature Store用於存儲、檢索和共享特徵,以便在機器學習模型中使用。它有助於管理特徵的一致性和可用性。

Amazon SageMaker Model Monitor用於監視和維護機器學習模型的性能,以確保模型在生產環境中的準確性。

Amazon SageMaker Autopilot是自動機器學習服務,可自動探索、訓練和調整機器學習模型,以節省時間和精力。

問題2:以下哪個Amazon SageMaker服務可用於自動機器學習,以自動化模型的訓練和調整過程?

A) Amazon SageMaker Canvas
B) Amazon SageMaker Feature Store
C) Amazon SageMaker Ground Truth
D) Amazon SageMaker AutoPilot

答案:D) Amazon SageMaker AutoPilot

解釋: Amazon SageMaker AutoPilot是一項自動機器學習服務,它能夠自動探索、訓練和調整機器學習模型,以節省時間並簡化機器學習流程。

附加信息:

  • Amazon SageMaker Canvas是一種用於數據準備和特徵工程的可視化界面,有助於用戶更輕鬆地設計和執行數據轉換流程。

  • Amazon SageMaker Feature Store用於存儲、檢索和共享特徵,以便在機器學習模型中使用。它有助於管理特徵的一致性和可用性。

  • Amazon SageMaker Ground Truth是用於標註和清理訓練數據的服務,有助於生成高質量的標籤數據集供模型訓練使用。


上一篇
Day 23 第三站 Modeling - SageMaker Built-In 機器學習演算法 Part 2
下一篇
Day 25 第三站 Modeling -AWS 現成ML工具 Part 1
系列文
夥伴們!一起航向AWS Certified Machine Learning Specialty的偉大航道吧!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言